Evaluating a Dancer’s Performance using Kinect-based Skeleton Tracking
https://www.youtube.com/watch?v=sMDdY3Ni5os
Author
Abstract
In this work, we describe a novel system that automatically evaluates dance performances against a gold-standard performance and provides visual feedback to the performer in a 3D virtual environment. The system acquires the motion of a performer via Kinect-based human skeleton tracking, making the approach viable for a large range of users, including home enthusiasts. Unlike traditional gaming scenarios, when the motion of a user must by kept in synch with a pre-recorded avatar that is displayed on screen, the technique described in this paper targets online interactive scenarios where dance choreographies can be set, altered, practiced and refined by users. In this work, we have addressed some areas of this application scenario. In particular, a set of appropriate signal processing and soft computing methodologies is proposed for temporally aligning dance movements from two different users and quantitatively evaluating one performance against another.
この作品では、ゴールドスタンダードのパフォーマンスに対してダンスのパフォーマンスを自動的に評価し、3D仮想環境でパフォーマーに視覚的なフィードバックを提供する新しいシステムについて説明します。このシステムは、Kinectベースの人間の骨格追跡を介して演奏者の動きを取得するので、このアプローチは家庭の愛好家を含む広範囲のユーザーにとって実行可能です。従来のゲームシナリオとは異なり、画面に表示される事前に記録されたアバターとユーザーの動きを同期させる必要がある場合、このホワイトペーパーで説明する手法は、ダンスの振り付けを設定、変更、練習、洗練するオンラインインタラクティブシナリオを対象としています。ユーザーによる。この作業では、このアプリケーションシナリオのいくつかの分野について説明しました。特に、一組の適切な信号処理およびソフトコンピューティング方法論が、２人の異なるユーザからのダンスの動きを時間的に整列させ、一方のパフォーマンスを他方のパフォーマンスに対して定量的に評価するために提案されている。
Source
Journal
ACM Transactions on Intelligent Systems and Technology (TIST) - Special Section on Visual Understanding with RGB-D Sensors archive
Volume 6 Issue 2, May 2015
Article No. 23
以下の3つの指標でスコアリング
Joint Error
Joint Velocities
3D flow error
先生による５段階評価
the ground-truth ratings assigned to the dancers by
the teachers (i.e. a score between 1-5, the higher the better
the performance) for “Choreography” (CH), “Musical Timing” (MT) and“Body Balance” (BB) are displayed
Participants: 13名
Task: 6種類のダンスの動き
Group:
Evaluation: 提案するスコアリング手法（Position, velocity, 3D flow）と先生による主観評価（“Choreography” (CH), “Musical Timing” (MT) and“Body Balance” (BB)）の違いを見る
Comments
バーチャル環境でのオンラインダンスレッスン時のリアルタイムフィードバックについて
URL
blank
Tag